YARN (Yet Another Resource Negotiator)

Hadoop এর বিভিন্ন উপাদানের মধ্যে YARN (Yet Another Resource Negotiator) একটি গুরুত্বপূর্ণ অংশ, যা মূলত রিসোর্স ম্যানেজমেন্ট এবং টাস্ক শিডিউলিংয়ের জন্য ব্যবহৃত হয়। YARN হাদুপ ক্লাস্টারের রিসোর্সগুলির (যেমন CPU, মেমরি) ব্যবস্থাপনা ও পরিকল্পনা করতে সহায়তা করে, এবং এটি নিশ্চিত করে যে বিভিন্ন অ্যাপ্লিকেশন এবং কাজগুলির মধ্যে সঠিকভাবে রিসোর্স বরাদ্দ হচ্ছে। YARN এর মাধ্যমে Hadoop ক্লাস্টার আরও স্কেলেবল এবং ফ্লেক্সিবল হয়ে ওঠে।

YARN এর প্রধান উপাদান

YARN সিস্টেমের তিনটি প্রধান উপাদান রয়েছে, যা সিস্টেমের সম্পূর্ণ রিসোর্স ব্যবস্থাপনা নিশ্চিত করে:

1. ResourceManager (RM)

ResourceManager বা RM হলো YARN সিস্টেমের কেন্দ্রীয় উপাদান যা পুরো ক্লাস্টারের রিসোর্স ব্যবস্থাপনা করে। এটি ক্লাস্টারের সমস্ত নোডের উপর রিসোর্সের ব্যবহার নিরীক্ষণ এবং কন্ট্রোল করে।

• Job Scheduling: RM কাজের জন্য রিসোর্স বরাদ্দ করে এবং নির্দিষ্ট কাজের জন্য উপলব্ধ রিসোর্স অনুসারে শিডিউল তৈরি করে।
• Resource Allocation: এটি ক্লাস্টারে উপলব্ধ রিসোর্সের উপর নজর রেখে, অ্যাপ্লিকেশনগুলির জন্য সঠিক পরিমাণ রিসোর্স বরাদ্দ করে।

2. NodeManager (NM)

NodeManager বা NM হলো YARN এর প্রতিটি নোডের উপর চলা প্রসেস। এটি একটি ক্লাস্টার নোডের রিসোর্স ব্যবহার মনিটর করে এবং ResourceManager কে রিপোর্ট পাঠায়।

• Resource Monitoring: এটি CPU, মেমরি, এবং ডিস্ক স্পেসের ব্যবহার ট্র্যাক করে এবং RM কে জানান দেয়।
• Container Management: NodeManager অ্যাপ্লিকেশনের জন্য রিসোর্স বরাদ্দ করা "containers" পরিচালনা করে। একটি container একটি নির্দিষ্ট পরিমাণ রিসোর্স যেমন CPU, মেমরি ইত্যাদি ব্যবহার করে, যা নির্দিষ্ট কাজের জন্য বরাদ্দ করা হয়।

3. ApplicationMaster (AM)

ApplicationMaster বা AM হলো একটি অ্যাপ্লিকেশনের নির্দিষ্ট কাজের জন্য রিসোর্স বরাদ্দের জন্য একটি বিশেষ উপাদান। এটি ResourceManager এর সাথে যোগাযোগ করে এবং কাজের জন্য রিসোর্স বরাদ্দ করে।

• Application-Specific Resource Management: এটি নির্দিষ্ট অ্যাপ্লিকেশনের জন্য রিসোর্স বরাদ্দের ব্যবস্থাপনা করে এবং কাজের জন্য প্রয়োজনীয় রিসোর্স নিয়ে আসে।
• Job Execution: ApplicationMaster কাজের বিভিন্ন অংশের শিডিউল করে এবং তাদেরকে সঠিকভাবে 실행 করতে সাহায্য করে।

YARN এর বৈশিষ্ট্য

1. সেন্ট্রালাইজড রিসোর্স ম্যানেজমেন্ট

YARN একটি সেন্ট্রালাইজড সিস্টেম হিসেবে কাজ করে, যেখানে ResourceManager পুরো ক্লাস্টারে রিসোর্স বরাদ্দ ও ব্যবস্থাপনা করে। এটি ক্লাস্টারের রিসোর্স ব্যবহারের কার্যকারিতা এবং উৎপাদনশীলতা বাড়ায়।

2. স্কেলেবিলিটি

YARN সিস্টেম খুবই স্কেলেবল, যার মানে এটি সিস্টেমে নতুন নোড যোগ করার মাধ্যমে সহজেই স্কেল করা যায়। এটি বড় Hadoop ক্লাস্টারের জন্য উপযুক্ত, যেখানে অনেক বড় সংখ্যক কাজ এবং রিসোর্স প্রয়োজন।

3. ফ্লেক্সিবিলিটি

YARN শুধুমাত্র Hadoop এর MapReduce কাজগুলো চালানোর জন্য নয়, অন্যান্য অ্যাপ্লিকেশন ফ্রেমওয়ার্ক (যেমন Apache Spark, Apache Tez) চালানোর জন্যও ব্যবহার করা যায়। এটি Hadoop কে আরও ফ্লেক্সিবল এবং বহুমুখী করে তোলে।

4. পারফরম্যান্স অপটিমাইজেশন

YARN আরও উন্নত পারফরম্যান্স প্রদান করে কারণ এটি কাজের জন্য নির্দিষ্ট রিসোর্স বরাদ্দ করে এবং সেই অনুযায়ী কাজগুলির শিডিউল তৈরি করে। এটি ক্লাস্টারের কার্যক্রমকে আরও সুষ্ঠু এবং দ্রুত করতে সাহায্য করে।

YARN এর সুবিধা

• বিভিন্ন ফ্রেমওয়ার্কের জন্য সমর্থন: YARN Hadoop এর মধ্যে MapReduce এর বাইরে অন্যান্য ফ্রেমওয়ার্ক যেমন Apache Spark, Apache Tez ইত্যাদির জন্যও সমর্থন প্রদান করে।
• রিসোর্স অপটিমাইজেশন: YARN রিসোর্স গুলি কার্যকরভাবে ব্যবস্থাপনা করে, যাতে সিস্টেমের পূর্ণ ক্ষমতা ব্যবহার করা যায়।
• উচ্চ কর্মক্ষমতা: YARN এর মাধ্যমে সিস্টেমের সম্পদগুলি একাধিক কাজের জন্য দক্ষতার সাথে ব্যবহৃত হয়, ফলে কর্মক্ষমতা বৃদ্ধি পায়।
• আধুনিক হাদুপ অ্যাপ্লিকেশন: YARN বিভিন্ন ধরনের আধুনিক ডেটা প্রোসেসিং অ্যাপ্লিকেশন চালানোর জন্য উপযোগী, যা প্রথাগত MapReduce এর চেয়ে অনেক দ্রুত এবং সক্ষম।

সারাংশ

YARN (Yet Another Resource Negotiator) হলো Hadoop এর একটি গুরুত্বপূর্ণ অংশ যা রিসোর্স ম্যানেজমেন্ট এবং টাস্ক শিডিউলিংয়ের জন্য ব্যবহৃত হয়। এটি ResourceManager, NodeManager, এবং ApplicationMaster এর সমন্বয়ে কাজ করে, যার মাধ্যমে Hadoop ক্লাস্টারের রিসোর্সগুলির দক্ষ ব্যবস্থাপনা এবং অপ্টিমাইজেশন সম্ভব হয়। YARN হাদুপকে আরও স্কেলেবল, ফ্লেক্সিবল এবং উচ্চ কর্মক্ষমতা সম্পন্ন করে তোলে, এবং এটি Hadoop এর বাইরে অন্যান্য অ্যাপ্লিকেশন ফ্রেমওয়ার্কও সমর্থন করে।

YARN (Yet Another Resource Negotiator) হলো Hadoop এর একটি প্রধান উপাদান, যা ক্লাস্টারে রিসোর্স ব্যবস্থাপনা এবং কাজের শিডিউলিংয়ের কাজ করে। এটি Hadoop এর সিস্টেমে রিসোর্স শেয়ারিং এবং কার্যকরী ব্যবস্থাপনা নিশ্চিত করে, ফলে বিভিন্ন অ্যাপ্লিকেশন এবং কাজ একসাথে চালানোর সুবিধা সৃষ্টি হয়। YARN এর মাধ্যমে Hadoop ক্লাস্টারে আরও বেশি কার্যক্রম চলতে সক্ষম হয় এবং এটি Hadoop এর স্কেলেবিলিটি ও কার্যক্ষমতা বাড়িয়ে দেয়।

YARN এর ভূমিকা

YARN মূলত Hadoop এর রিসোর্স ম্যানেজার হিসেবে কাজ করে। এটি ডিস্ট্রিবিউটেড সিস্টেমে রিসোর্স বরাদ্দ, কাজের শিডিউলিং এবং ম্যানেজমেন্টের দায়িত্ব পালন করে। YARN এর প্রধান ভূমিকা হলো:

1. রিসোর্স বরাদ্দ (Resource Allocation)

YARN ক্লাস্টারের মধ্যে উপলব্ধ রিসোর্স (যেমন CPU, মেমরি, স্টোরেজ) বিশ্লেষণ করে এবং সেগুলি কাজের জন্য বরাদ্দ করে। এতে নিশ্চিত করা হয় যে, কোনও কাজের জন্য পর্যাপ্ত রিসোর্স থাকবে এবং তা সঠিকভাবে ব্যবহৃত হবে।

2. টাস্ক শিডিউলিং (Task Scheduling)

YARN ক্লাস্টারের প্রতিটি নোডে কাজ নির্ধারণ করে। এটি নিশ্চিত করে যে, সিস্টেমের সকল কাজ ঠিকভাবে এবং সময়মতো সম্পাদিত হবে। এটি কাজের কার্যকরী সম্পাদনের জন্য কাজের অগ্রাধিকারও নির্ধারণ করতে পারে।

3. প্রকৃত রিসোর্স ম্যানেজমেন্ট (Real Resource Management)

YARN এর মাধ্যমে, সিস্টেমের সব কাজের রিসোর্স ব্যবহার করা হয় কার্যকরভাবে, যা আরও অনেক অ্যাপ্লিকেশন চালানোর সুযোগ সৃষ্টি করে। এটি বিভিন্ন টাইপের কাজ যেমন MapReduce, Spark ইত্যাদি পরিচালনা করতে সক্ষম।

4. প্রোগ্রামিং মডেল ইন্টিগ্রেশন (Programming Model Integration)

YARN Hadoop এ বিভিন্ন প্রোগ্রামিং মডেল (যেমন MapReduce, Spark, Tez ইত্যাদি) সমর্থন করে, যা ক্লাস্টারে বিভিন্ন কাজের মধ্যে সমন্বয় সাধন করে এবং তাদেরকে একসাথে পরিচালনা করে।

YARN এর প্রয়োজনীয়তা

1. স্কেলেবিলিটি (Scalability)

Hadoop ক্লাস্টারের মধ্যে যেহেতু YARN রিসোর্স ম্যানেজমেন্ট করে, এটি সহজেই স্কেল করা যায়। নতুন নোড যোগ করার মাধ্যমে সিস্টেমের কর্মক্ষমতা বৃদ্ধি করা সম্ভব হয়। YARN এর মাধ্যমে নতুন কাজ যোগ করা বা সম্পন্ন হওয়া কাজের রিসোর্স পুনরায় বরাদ্দ করা হয়।

2. অনেক ধরনের অ্যাপ্লিকেশন চালানোর সুবিধা (Running Multiple Applications)

YARN একাধিক অ্যাপ্লিকেশনকে একই ক্লাস্টারে একসাথে চালানোর সুবিধা প্রদান করে। এটি Hadoop এর বিভিন্ন অংশ যেমন MapReduce, Apache Spark, Tez ইত্যাদিকে একত্রে পরিচালনা করতে সহায়ক।

3. রিসোর্স ব্যবস্থাপনা এবং রোবস্টনেস (Resource Management and Robustness)

YARN ক্লাস্টারে রিসোর্সের অপচয় রোধ করে এবং সিস্টেমের কার্যকারিতা বাড়ায়। এটি রিসোর্স ব্যবস্থাপনা দক্ষতার সাথে করে, যা সিস্টেমের মোট কর্মক্ষমতা বাড়ায় এবং লোড ব্যালান্সিং নিশ্চিত করে।

4. ফল্ট টলারেন্স (Fault Tolerance)

YARN কাজের জন্য রিসোর্স বরাদ্দ করে এবং কাজের মধ্যে কোনো সমস্যা হলে তা দ্রুত পুনরুদ্ধার করতে সহায়ক। এটি সিস্টেমের কোনও একটি অংশ ব্যর্থ হলেও পুরো সিস্টেমের কার্যক্রম ব্যাহত না হয়ে চালু রাখে।

5. সার্বজনীন রিসোর্স শেয়ারিং (Universal Resource Sharing)

YARN একাধিক ক্লাস্টারে চলমান বিভিন্ন অ্যাপ্লিকেশনকে রিসোর্স শেয়ার করার সুযোগ দেয়। এর মাধ্যমে, বিভিন্ন প্রোগ্রামিং মডেল এবং কাজের মধ্যে রিসোর্সের সর্বোত্তম ব্যবহার নিশ্চিত হয়।

YARN এর উপাদানসমূহ

YARN এর তিনটি প্রধান উপাদান রয়েছে:

1. ResourceManager (RM)

ResourceManager হলো YARN এর প্রধান উপাদান, যা সিস্টেমের সমস্ত রিসোর্সের পরিচালনা করে। এটি সিস্টেমের রিসোর্স শিডিউলিং এবং কাজের জন্য রিসোর্স বরাদ্দের কাজ করে।

2. NodeManager (NM)

NodeManager প্রতিটি নোডে চলে এবং তার স্থানীয় রিসোর্স ব্যবস্থাপনা করে। এটি নিশ্চিত করে যে, স্থানীয় নোডে যথাযথভাবে রিসোর্স ব্যবহার হচ্ছে এবং রিসোর্সের ব্যবহার ট্র্যাক করে।

3. ApplicationMaster (AM)

ApplicationMaster নির্দিষ্ট কাজের জন্য রিসোর্স বরাদ্দ এবং শিডিউলিং করে। এটি নির্ধারণ করে, কোন কাজের জন্য কতো রিসোর্স প্রয়োজন এবং সেগুলি কিভাবে বরাদ্দ করা হবে।

সারাংশ

YARN Hadoop এর রিসোর্স ম্যানেজার এবং শিডিউলিং উপাদান হিসেবে কাজ করে, যা ক্লাস্টারের মধ্যে রিসোর্সের সর্বোত্তম ব্যবহারের নিশ্চয়তা দেয়। এটি Hadoop এর স্কেলেবিলিটি, কার্যক্ষমতা এবং রোবস্টনেস বাড়িয়ে দেয়। YARN এর মাধ্যমে Hadoop আরও দক্ষ এবং সর্বাধিক কার্যকরী Big Data প্রক্রিয়াকরণ সিস্টেমে পরিণত হয়, যা বিভিন্ন অ্যাপ্লিকেশন একসাথে চালানোর সুবিধা প্রদান করে এবং সিস্টেমের সম্পূর্ণ রিসোর্সের সর্বোত্তম ব্যবহার নিশ্চিত করে।

Hadoop সিস্টেমে ডিস্ট্রিবিউটেড ডেটা প্রসেসিং এবং স্টোরেজের কার্যক্রম কার্যকরভাবে পরিচালনা করতে YARN (Yet Another Resource Negotiator) একটি গুরুত্বপূর্ণ ভূমিকা পালন করে। YARN সিস্টেমের মধ্যে Resource Manager এবং Node Manager দুটি প্রধান উপাদান। এগুলি Hadoop ক্লাস্টারের রিসোর্স ব্যবস্থাপনা এবং কাজ শিডিউলিংয়ে গুরুত্বপূর্ণ কাজ করে। YARN এর মাধ্যমে, Hadoop বিভিন্ন নোডে ডেটা প্রসেসিংয়ের কাজ ভাগ করে এবং রিসোর্স নির্ধারণের মাধ্যমে দ্রুত ফলাফল পাওয়ার উপযোগী হয়ে ওঠে।

Resource Manager এর কাজ

Resource Manager (RM) Hadoop ক্লাস্টারের রিসোর্স ম্যানেজমেন্টের জন্য প্রধান উপাদান। এটি YARN এর একটি অংশ এবং ক্লাস্টারের সম্পূর্ণ রিসোর্স ব্যবস্থাপনা করে। Resource Manager মূলত দুটি অংশে ভাগ করা হয়: Scheduler এবং ApplicationManager।

Resource Manager এর কাজ:

• রিসোর্স শিডিউলিং (Resource Scheduling):
  Resource Manager সমস্ত ক্লাস্টারে রিসোর্স শিডিউল করে। এটি টাস্ক বা অ্যাপ্লিকেশন গুলি কোন নোডে চালানো হবে তা নির্ধারণ করে এবং সেগুলির জন্য প্রয়োজনীয় রিসোর্স বরাদ্দ করে।
• রিসোর্স বরাদ্দ (Resource Allocation):
  যখন একটি টাস্ক YARN এর কাছে আসে, Resource Manager নির্ধারণ করে কত রিসোর্স প্রয়োজন এবং সেগুলি কোথায় বরাদ্দ করা হবে। এটি সার্ভারের মেমরি, সিপিইউ, এবং অন্যান্য প্রয়োজনীয় রিসোর্সগুলোকে বিভিন্ন নোডে ভাগ করে দেয়।
• টাস্কের তত্ত্বাবধান (Task Supervision):
  Resource Manager কাজের অগ্রগতি মনিটর করে এবং নিশ্চিত করে যে নির্ধারিত কাজগুলি সঠিকভাবে সম্পাদিত হচ্ছে। এটি রিসোর্সের ব্যবহার এবং নির্ধারিত কাজের জন্য উপযুক্ত নোড নির্বাচন নিশ্চিত করে।
• Fault Tolerance:
  যদি কোনো নোড ব্যর্থ হয় বা রিসোর্সের কোনো সমস্যা হয়, Resource Manager ওই নোডের পরিবর্তে অন্য কোনো নোডে কাজ স্থানান্তর করে। ফলে সিস্টেমের অখণ্ডতা বজায় থাকে এবং কোনো টাস্ক থেমে থাকে না।

Node Manager এর কাজ

Node Manager (NM) হল Hadoop YARN সিস্টেমের গুরুত্বপূর্ণ উপাদান, যা প্রতিটি স্লেভ নোডে চলে এবং রিসোর্স ব্যবস্থাপনা ও কাজের বাস্তবায়ন পরিচালনা করে। এটি Resource Manager এর সাথে সংযুক্ত থাকে এবং ক্লাস্টারের প্রতিটি নোডের রিসোর্স ও কাজের অবস্থা তদারকি করে।

Node Manager এর কাজ:

• রিসোর্স ব্যবস্থাপনা (Resource Management):
  Node Manager স্থানীয়ভাবে রিসোর্স পরিচালনা করে। এটি CPU, মেমরি, ডিস্ক স্পেস ইত্যাদির ব্যবস্থাপনা করে, যাতে সঠিকভাবে কাজ পরিচালিত হয়।
• কাজের বাস্তবায়ন (Job Execution):
  Node Manager অ্যাপ্লিকেশন বা টাস্কের কাজ বাস্তবায়ন করে। এটি ApplicationMaster (AM) থেকে প্রাপ্ত নির্দেশনা অনুযায়ী কাজগুলো সঞ্চালন করে। Node Manager নিজে থেকে কোনো কাজ শিডিউল বা নিয়ন্ত্রণ করে না, বরং Resource Manager বা ApplicationMaster এর নির্দেশ অনুসরণ করে।
• নোড মনিটরিং (Node Monitoring):
  Node Manager প্রতিটি নোডের স্বাস্থ্য এবং কর্মক্ষমতা নিয়মিতভাবে পর্যবেক্ষণ করে। এটি সিস্টেমের জন্য রিসোর্সের ব্যবহার, লোড এবং অন্যান্য মেট্রিকস সংগ্রহ করে এবং Resource Manager কে প্রতিবেদন পাঠায়।
• Fault Reporting:
  Node Manager যেকোনো ধরণের সমস্যার ক্ষেত্রে Resource Manager কে রিপোর্ট করে, যেমন কোনো নোডের সমস্যা বা কোনো কাজ না চললে তা জানিয়ে দেয়। এটি ক্লাস্টারের স্থিতিশীলতা বজায় রাখতে সহায়ক।
• Logs Management:
  Node Manager কাজের লগ ফাইল তৈরি এবং সংরক্ষণ করে। এটি Hadoop ক্লাস্টারে কার্যক্রমের জন্য বিশ্লেষণ এবং ত্রুটি শনাক্তকরণের জন্য সহায়ক।

সারাংশ

Resource Manager এবং Node Manager উভয়ই YARN এর গুরুত্বপূর্ণ অংশ, এবং Hadoop ক্লাস্টারের রিসোর্স ব্যবস্থাপনা এবং কাজ শিডিউলিংয়ের জন্য অপরিহার্য। Resource Manager ক্লাস্টারের সমস্ত রিসোর্স পরিচালনা এবং শিডিউলিংয়ের কাজ করে, যখন Node Manager প্রতিটি নোডে রিসোর্স ব্যবস্থাপনা এবং কাজের বাস্তবায়ন করে। এই সমন্বয় Hadoop সিস্টেমকে উচ্চ ক্ষমতাসম্পন্ন, স্কেলেবল এবং ফল্ট টলারেন্ট ক্লাস্টার হিসেবে তৈরি করে, যা বড় পরিমাণ ডেটা প্রসেসিং এবং বিশ্লেষণে সহায়ক।

Hadoop এর YARN (Yet Another Resource Negotiator) আর্কিটেকচারে Application Master একটি অত্যন্ত গুরুত্বপূর্ণ উপাদান। এটি একটি বিশেষ ধরণের ক্লায়েন্ট অ্যাপ্লিকেশন যা YARN এর রিসোর্স ম্যানেজার এবং নোড ম্যানেজারের সঙ্গে কাজ করে অ্যাপ্লিকেশনের জন্য রিসোর্স বরাদ্দ এবং রিসোর্স ব্যবস্থাপনা করে।

Application Master এর ভূমিকা

Application Master মূলত একটি অ্যাপ্লিকেশনের নির্দিষ্ট জীবচক্র (lifecycle) পরিচালনা করে এবং এটি YARN ক্লাস্টারে অ্যাপ্লিকেশনটির সফল সম্পাদন নিশ্চিত করার জন্য দায়ী। এর কিছু গুরুত্বপূর্ণ ভূমিকা নিম্নরূপ:

রিসোর্স বরাদ্দের জন্য আবেদন (Requesting Resources)

Application Master YARN ResourceManager থেকে ক্লাস্টারে উপলব্ধ রিসোর্সের জন্য আবেদন করে। এটি ক্লাস্টারের জন্য প্রয়োজনীয় CPU, মেমোরি এবং অন্যান্য রিসোর্সের পরিমাণ নির্ধারণ করে এবং সেগুলির জন্য অনুরোধ পাঠায়।

টাস্কের শিডিউল এবং সমন্বয় (Scheduling and Coordination of Tasks)

একবার রিসোর্স বরাদ্দ হলে, Application Master শিডিউলিং এবং কাজের সমন্বয় করে। এটি YARN এর NodeManager এর সাথে যোগাযোগ করে এবং নোডে চলমান নির্দিষ্ট কাজ (যেমন Map বা Reduce টাস্ক) পরিচালনা করতে সহায়তা করে।

টাস্কের অবস্থা মনিটরিং (Monitoring Task Status)

Application Master নিশ্চিত করে যে সমস্ত টাস্ক সঠিকভাবে সম্পাদিত হচ্ছে। যদি কোনো টাস্ক ব্যর্থ হয়, তবে এটি সেই টাস্ক পুনরায় চালানোর জন্য প্রয়োজনীয় ব্যবস্থা নেয়। এছাড়াও, এটি কার্যকরভাবে টাস্কের অগ্রগতি এবং সম্পাদনা স্থিতি (status) ট্র্যাক করে।

অ্যাপ্লিকেশনের জীবনচক্র পরিচালনা (Managing Application Lifecycle)

Application Master অ্যাপ্লিকেশনের জীবনচক্রের পুরো প্রক্রিয়া পরিচালনা করে, যেমন এটি অ্যাপ্লিকেশন শুরুর সময় রিসোর্স বরাদ্দ এবং অ্যাপ্লিকেশন সমাপ্তি হলে সব রিসোর্স মুক্ত করা।

ত্রুটি পুনরুদ্ধার (Fault Recovery)

যদি কোনও কাজ বা টাস্ক ব্যর্থ হয়, Application Master পুনরায় চালানোর জন্য এটি একটি পুনরুদ্ধার পদ্ধতি গ্রহণ করে। এটি অ্যাপ্লিকেশনটির রিলায়েবিলিটি এবং পারফরম্যান্স বৃদ্ধি করতে সহায়ক।

Application Master এর কার্যকারিতা

• রিসোর্স ব্যবস্থাপনা: এটি সঠিকভাবে প্রয়োজনীয় রিসোর্স বরাদ্দের জন্য রিসোর্স ম্যানেজারকে নির্দেশনা দেয় এবং সেগুলির ব্যবহার নিশ্চিত করে।
• বিচ্ছিন্ন কাজের সমন্বয়: Application Master একাধিক নোডে কাজের সমন্বয় করে এবং সেগুলোর ফলাফল একত্রিত করে।
• এলার্ম এবং পুনরুদ্ধার: কোনো একটি টাস্ক ব্যর্থ হলে তা দ্রুত পুনরায় চালানো হয়, যাতে পুরো অ্যাপ্লিকেশনটি ব্যাহত না হয়।

সারাংশ

Hadoop এর YARN আর্কিটেকচারে Application Master একটি অত্যন্ত গুরুত্বপূর্ণ উপাদান, যা অ্যাপ্লিকেশনের রিসোর্স বরাদ্দ, টাস্ক শিডিউলিং, কাজের সমন্বয় এবং অ্যাপ্লিকেশনের জীবচক্র পরিচালনা করার জন্য দায়ী। এটি ক্লাস্টারে অ্যাপ্লিকেশনের কার্যকারিতা এবং স্থিতিশীলতা নিশ্চিত করে এবং কাজের অগ্রগতি ট্র্যাক করতে সহায়ক।

YARN (Yet Another Resource Negotiator) হলো Hadoop এর একটি রিসোর্স ম্যানেজার, যা হাদুপ ক্লাস্টারের রিসোর্স ম্যানেজমেন্ট এবং কাজের (Job) শিডিউলিং এর কাজ সম্পাদন করে। YARN Hadoop এর 2.x সংস্করণে পরিচিত হয়, যা MapReduce এবং অন্যান্য কাজের প্রসেসিং এর জন্য রিসোর্স নিয়ন্ত্রণ ও পরিচালনা করে।

YARN এর মাধ্যমে Hadoop ক্লাস্টারের রিসোর্সগুলিকে আরও দক্ষভাবে ব্যবহার করা যায় এবং এটি শুধুমাত্র MapReduce নয়, অন্যান্য প্রসেসিং অ্যাপ্লিকেশনও চালাতে সক্ষম।

YARN এর Architecture

YARN এর আর্কিটেকচার তিনটি প্রধান উপাদান নিয়ে গঠিত:

১. ResourceManager (RM)

ResourceManager হলো YARN এর কেন্দ্রীয় কম্পোনেন্ট, যা ক্লাস্টারের সমস্ত রিসোর্সের ব্যবস্থাপনা করে। এটি ক্লাস্টারের সমস্ত নোডের রিসোর্স (যেমন CPU, মেমোরি) ট্র্যাক করে এবং কাজের জন্য উপযুক্ত রিসোর্স বরাদ্দ করে।

ResourceManager এর দুটি অংশ:

• Scheduler: এটি ক্লাস্টারে থাকা কাজগুলির জন্য রিসোর্স বরাদ্দের জন্য সিদ্ধান্ত গ্রহণ করে। তবে, এটি কেবল কাজের জন্য প্রয়োজনীয় রিসোর্স বরাদ্দ করে, বাস্তবিক কাজের প্রসেসিং বা এক্সিকিউশন পরিচালনা করে না।
• ApplicationManager: এটি একটি অ্যাপ্লিকেশনের লাইফ সাইকেল পরিচালনা করে, যার মধ্যে অ্যাপ্লিকেশন স্টার্ট হওয়া থেকে শেষ হওয়া পর্যন্ত সমস্ত কার্যক্রম অন্তর্ভুক্ত থাকে।

২. NodeManager (NM)

NodeManager হলো YARN ক্লাস্টারের প্রতিটি নোডে চলমান একটি ডেমন, যা নির্দিষ্ট নোডে কাজ (tasks) চালানোর জন্য রিসোর্স বরাদ্দের কাজ করে। এটি একটি নির্দিষ্ট নোডে চলমান কাজের স্ট্যাটাস এবং রিসোর্স ব্যবহার মনিটর করে এবং ResourceManager-কে জানায়।

৩. ApplicationMaster (AM)

ApplicationMaster হলো একটি ক্লাস যা একটি নির্দিষ্ট অ্যাপ্লিকেশনের কাজের জন্য রিসোর্স বরাদ্দ এবং এক্সিকিউশন পরিচালনা করে। এটি ResourceManager থেকে রিসোর্স চেয়ে নেয় এবং NodeManager এর মাধ্যমে সেই রিসোর্সে কাজ সম্পাদন করে। প্রতিটি অ্যাপ্লিকেশনের জন্য আলাদা ApplicationMaster থাকে।

৪. Container

Container হলো একটি নির্দিষ্ট পরিসরের মধ্যে একটি কাজ (task) চালানোর জন্য প্রয়োজনীয় সমস্ত রিসোর্স (যেমন CPU, মেমোরি) প্রদান করে। YARN কাজের জন্য containers তৈরি করে এবং সেই containers-এর মধ্যে কাজ এক্সিকিউট হয়।

YARN Job Execution

YARN এর মাধ্যমে কাজের (Job) execution তিনটি মূল ধাপে হয়:

১. Job Submission

প্রথমে, ব্যবহারকারী একটি কাজ বা অ্যাপ্লিকেশন (যেমন MapReduce কাজ) চালানোর জন্য YARN ক্লাস্টারে জমা দেন। অ্যাপ্লিকেশনটি একটি অ্যাপ্লিকেশন ম্যানেজার (ApplicationMaster) এর মাধ্যমে ResourceManager এ জমা হয়।

২. Resource Requesting and Allocation

ApplicationMaster ResourceManager থেকে রিসোর্সের জন্য অনুরোধ করে। ResourceManager, যেহেতু এটি সমস্ত ক্লাস্টারের রিসোর্সের ম্যানেজার, রিসোর্স বরাদ্দের জন্য একটি শিডিউল তৈরি করে এবং নির্দিষ্ট নোডে কাজ চালানোর জন্য রিসোর্স প্রদান করে।

৩. Job Execution

ResourceManager রিসোর্স বরাদ্দ করার পর, ApplicationMaster সেই রিসোর্সের ভিত্তিতে NodeManager এর সাহায্যে কাজের এক্সিকিউশন পরিচালনা করে। NodeManager প্রত্যেক নোডের মধ্যে নির্দিষ্ট containers তৈরি করে এবং সেখানে কাজটি এক্সিকিউট হয়। কাজের সম্পাদনা শেষে, ApplicationMaster কাজের ফলাফল সংগ্রহ করে।

৪. Job Completion

একটি কাজ সফলভাবে সম্পন্ন হলে, ApplicationMaster কাজের অবস্থা ResourceManager এ জানায় এবং কাজটি শেষ হয়। Job execution এর শেষে কাজের রিপোর্ট তৈরি করা হয় এবং যে নোডগুলো কাজের জন্য ব্যবহার হয়েছে, সেগুলোর রিসোর্স ছেড়ে দেওয়া হয়।

YARN এর সুবিধা

• স্কেলেবিলিটি (Scalability): YARN অনেক বড় এবং আরও বেশি ক্লাস্টার পরিচালনা করতে সক্ষম, কারণ এটি রিসোর্সের কার্যকর ব্যবস্থাপনা এবং শিডিউলিং করতে পারে।
• ফ্লেক্সিবিলিটি (Flexibility): YARN শুধুমাত্র MapReduce নয়, অন্যান্য প্রসেসিং মডেল (যেমন Spark, Tez) চালাতে সক্ষম।
• ফল্ট টলারেন্স (Fault Tolerance): YARN একটি নোড বা Container ব্যর্থ হলে, এটি অন্য নোডে কাজ পুনরায় শিডিউল করে এবং কার্যক্রম অব্যাহত রাখে।
• ইফিশিয়েন্সি (Efficiency): YARN রিসোর্সকে অধিক কার্যকরভাবে পরিচালনা করে, যাতে ক্লাস্টারের রিসোর্স সম্পূর্ণভাবে ব্যবহার করা যায় এবং উচ্চ পারফরম্যান্স নিশ্চিত করা যায়।

সারাংশ

YARN হলো Hadoop এর একটি শক্তিশালী রিসোর্স ম্যানেজমেন্ট সিস্টেম, যা ক্লাস্টারে রিসোর্স বরাদ্দ এবং কাজের শিডিউলিং করে। এটি ক্লাস্টারের রিসোর্স ব্যবস্থাপনা এবং কাজের এক্সিকিউশন আরও দক্ষ এবং স্কেলেবল করে তোলে। YARN এর মাধ্যমে, Hadoop শুধুমাত্র MapReduce নয়, অন্যান্য প্রসেসিং মডেলও চালানোর সক্ষমতা পায়, যা আধুনিক ডেটা বিশ্লেষণের জন্য অত্যন্ত গুরুত্বপূর্ণ।